This technical report presents GPS++, the first-place solution to the Open Graph Benchmark Large-Scale Challenge (OGB-LSC 2022) for the PCQM4Mv2 molecular property prediction task. Our approach implements several key principles from the prior literature. At its core our GPS++ method is a hybrid MPNN/Transformer model that incorporates 3D atom positions and an auxiliary denoising task. The effectiveness of GPS++ is demonstrated by achieving 0.0719 mean absolute error on the independent test-challenge PCQM4Mv2 split. Thanks to Graphcore IPU acceleration, GPS++ scales to deep architectures (16 layers), training at 3 minutes per epoch, and large ensemble (112 models), completing the final predictions in 1 hour 32 minutes, well under the 4 hour inference budget allocated. Our implementation is publicly available at: https://github.com/graphcore/ogb-lsc-pcqm4mv2.

The demonstrated success of transfer learning has popularized approaches that involve pretraining models from massive data sources and subsequent finetuning towards a specific task. While such approaches have become the norm in fields such as natural language processing, implementation and evaluation of transfer learning approaches for chemistry are in the early stages. In this work, we demonstrate finetuning for downstream tasks on a graph neural network (GNN) trained over a molecular database containing 2.7 million water clusters. The use of Graphcore IPUs as an AI accelerator for training molecular GNNs reduces training time from a reported 2.7 days on 0.5M clusters to 1.2 hours on 2.7M clusters. Finetuning the pretrained model for downstream tasks of molecular dynamics and transfer to a different potential energy surface took only 8.3 hours and 28 minutes, respectively, on a single GPU.

在处理机器学习模型（例如图形神经网络（GNN））中的一批图表时，通常将几个小图组合到一个整体图中以加速处理并减少填充的开销。例如，这是PYG库中支持的。但是，小图的尺寸对于节点和边缘的数量可能会有很大的变化，因此，组合图的大小仍然可能有很大差异，尤其是对于小批量大小而言。因此，仍然产生过多的填充和浪费计算的成本。本文提出了一种新方法 - 元组包装 - 用于生成导致最小开销的批次。该算法扩展了最近引入的序列填料方法，以在（| nodes |，| edges |）的2D元组上工作。单调启发式词被应用于元组值的2D直方图，以定义填充直方图箱的优先级，以及目标以达到节点数量和边缘数量的限制。实验验证了多个数据集上算法的有效性。

The Internet of Senses (IoS) holds the promise of flawless telepresence-style communication for all human `receptors' and therefore blurs the difference of virtual and real environments. We commence by highlighting the compelling use cases empowered by the IoS and also the key network requirements. We then elaborate on how the emerging semantic communications and Artificial Intelligence (AI)/Machine Learning (ML) paradigms along with 6G technologies may satisfy the requirements of IoS use cases. On one hand, semantic communications can be applied for extracting meaningful and significant information and hence efficiently exploit the resources and for harnessing a priori information at the receiver to satisfy IoS requirements. On the other hand, AI/ML facilitates frugal network resource management by making use of the enormous amount of data generated in IoS edge nodes and devices, as well as by optimizing the IoS performance via intelligent agents. However, the intelligent agents deployed at the edge are not completely aware of each others' decisions and the environments of each other, hence they operate in a partially rather than fully observable environment. Therefore, we present a case study of Partially Observable Markov Decision Processes (POMDP) for improving the User Equipment (UE) throughput and energy consumption, as they are imperative for IoS use cases, using Reinforcement Learning for astutely activating and deactivating the component carriers in carrier aggregation. Finally, we outline the challenges and open issues of IoS implementations and employing semantic communications, edge intelligence as well as learning under partial observability in the IoS context.

数字双技术被认为是现代工业发展的组成部分。随着技术Internet技术（IoT）技术的快速发展以及自动化趋势的增加，虚拟世界与物理世界之间的整合现在可以实现生产实用的数字双胞胎。但是，数字双胞胎的现有定义是不完整的，有时是模棱两可的。在此，我们进行了历史审查，并分析了数字双胞胎的现代通用观点，以创建其新的扩展定义。我们还审查并讨论了在安全至关重要的机器人技术应用中数字双胞胎中现有的工作。特别是，由于环境挑战，数字双胞胎在工业应用中的使用需要自动和远程操作。但是，环境中的不确定性可能需要对机器人进行仔细监控和快速适应，这些机器人需要防止安全和成本效益。我们展示了一个案例研究，以开发针对安全至关重要的机器人臂应用框架，并提出系统性能以显示其优势，并讨论未来的挑战和范围。

Digital Twin Technology在现代工业发展中起着关键作用。尤其是，随着技术的技术进步（IoT）以及自主权的日益增长的趋势，配备多传感器的机器人技术可以创建实用的数字双胞胎，这在运营，维护和安全的工业应用程序中特别有用。在此，我们演示了一个现实世界中的数字双胞胎，其中包括安全至关重要的机器人应用程序，并带有Franka-Emika-Panda机器人臂。我们开发并展示了一个避免动态障碍物的边缘辅助协作数字双胞胎，这对于在工业物联网中不确定和动态的环境中运行时可以实时适应机器人。

自动驾驶汽车是一项不断发展的技术，旨在通过自动操作从车道变更到超车来提高安全性，可访问性，效率和便利性。超车是自动驾驶汽车最具挑战性的操作之一，当前的自动超车技术仅限于简单情况。本文研究了如何通过允许动作流产来提高自主超车的安全性。我们提出了一个基于深层Q网络的决策过程，以确定是否以及何时需要中止超车的操作。拟议的算法在与交通情况不同的模拟中进行了经验评估，这表明所提出的方法可以改善超车手动过程中的安全性。此外，使用自动班车Iseauto在现实世界实验中证明了该方法。

神经网络的认证是一个重要且具有挑战性的问题，几年以来就吸引了机器学习社区的注意力。在本文中，我们专注于随机平滑（RS），该平滑度被认为是获得可靠的强大神经网络的最先进方法。特别是，最近引入的一种新的与数据相关的RS技术可用于证明神经网络每个输入数据附近具有正交轴的椭圆形。在这项工作中，我们指出，在输入数据的旋转下，ANCER并不是不变的，并提出了一种新的旋转不变的公式，可以在其轴上对椭圆进行认证。我们称为Riemannian数据依赖的随机平滑（RDDR）的方法依赖于协方差矩阵流形的信息几何技术，并且可以根据我们在MNIST数据集的实验来证明比ANCE的更大区域。

我们研究了评估基于微分方程（DE）网络的鲁棒性的问题和挑战，以防止合成分布转移。我们提出了一种新颖而简单的精度度量，可用于评估固有的鲁棒性并验证数据集损坏模拟器。我们还提出了方法论建议，注定要评估神经des'的鲁棒性的许多面孔，并将其与它们的离散对应物进行了严格的比较。然后，我们使用此标准来评估廉价数据增强技术，以证明神经ODE的自然鲁棒性，以防止多个数据集中的模拟图像损坏。

如今，算法在控制或影响我们生活的各个方面的许多技术系统中起着关键作用。结果，提供解释以满足用户和组织的需求，越来越多地受到法律法规，行为准则和公众的期望。但是，由于法律和法规没有规定如何满足这种期望，因此通常会留下组织来设计自己的解释性方法，不可避免地增加合规性和良好的治理成本。因此，我们提出了“通过设计的解释性”，这是一种以主动措施为特征的整体方法，包括在决策系统设计中的解释能力。本文介绍了软件工程工作流程中解释性方法的技术步骤，以实现域专家针对特定应用程序上下文提出的要求的解释能力。解释性逐设计方法的输出是一组配置，允许可重复使用的服务（称为解释助手）利用应用程序提供的日志并创建可以查询以提取相关数据点的出处痕迹，而这又可以是用于解释计划，以构建向消费者个性化的解释。遵循这些步骤，组织将能够设计其决策系统，以产生满足指定要求的解释，无论是根据法律，法规或业务需求而设计的。我们将方法应用于两个应用程序，从而部署了解释助理，展示了解释功能。最后，测量了相关的开发成本，表明构建解释的方法在开发时间方面是可以探讨的，每个解释句子可能低至两个小时。